Identifying Instrumental Variables for Social Movements
Detecting Protest Events Using Pre-trained Language Model
Kazuhiro Terashita
Full-time Lecturer
Graduate School of Arts and Sciences, The University of Tokyo
kazuhiroterashita@outlook.jp
2025-06-29
Introduction
はじめに
- RQ
- 抗議行動のアウトカムを効果的に説明できる操作変数は何か？
- Motivation
- 社会運動のアウトカムを説明する
- 交絡要因が多い
- 操作変数を用いた研究
- 降水量を用いて動員の効果を測る
- Mellon (2024) による問題提起
- 降水量以外の可能性？動員以外の効果？
- 社会運動のアウトカムを説明する
Predict Instrumental Variables
社会運動のアウトカム研究
社会運動の規模や暴力性、採用する戦術 (McAdam and Su 2002; Fassiotto and Soule 2017)
メディアの注目度 (Madestam et al. 2013; Hunt and Gruszczynski 2019; Andrews and Caren 2010)
- 政策決定者や有権者は、通常、テレビ、新聞、SNS、その他のメディアを通じて運動の存在を知る
政治的機会構造
- 出力構造・入力構造 (Kitschelt 1986)
- 政治的仲介者の存在 (Amenta, Caren, and Olasky 2005)
動員に比べると研究が進んでいない (Amenta et al. 2010)
操作変数を用いた研究とその課題
- 操作変数法による推定
- 社会運動の内生的な性質
- 政治的機会構造によって動員されて、アウトカムも生じる？
- 社会運動の内生的な性質
- 降水量を用いた推定 (Madestam et al. 2013; Wasow 2020)
- 古典的な政治参加モデルを参考に、雨が社会運動への参加を妨げるという仮定
- 共和党候補の得票率、投票率などに影響を与える
- 課題
- 動員以外の変数も大事
- 降水量は他の変数を媒介して結果に影響を与える可能性がある (Mellon 2024)
- 降雨が稀または特に頻繁な地域では、雨は相対的なコストを意味しない
- 天候に関する他の変数：気温
Methods
抗議行動の特定：先行事例
抗議行動を全て把握したデータベースは存在しない (Jenkins and Maher 2016)
伝統的には新聞記事の手作業コーディングによって特定
- コーディングの質・一貫性の問題
- メディア・カヴァレッジによるバイアス
- コストがかかりすぎる
機械学習を用いた自動化・半自動化
- 自動化によるコストの低下
- 正確性に課題
抗議行動の特定：本研究で用いる手法
- 教師あり学習モデルおよび学習済みモデルを用いた記事分類
- 抗議行動の報道に関連するかどうかを分類
- ナイーブベイズ、ランダムフォレスト、XLM-RoBERTa (Conneau et al. 2020)
- それぞれの学習・ファインチューニングのために1000件の記事を事前に分類
- 記事の地理分類
- 準教師あり学習モデルである
newsmapを利用 (Watanabe 2018) - 韓国の地理辞書を作成
- 準教師あり学習モデルである
- 抗議のレパートリー・主張の分類
- 準教師あり学習モデルである
seededldaを利用 (Watanabe and Baturo 2023) - 抗議レパートリーおよび主張の辞書を作成
- 準教師あり学習モデルである
抗議行動の特定：データ
BIGKindsを用いて新聞記事を収集
- 最初の200字のみしか収集できないが、イベントの抽出には十分と判断
2000年1月1日〜2022年12月31日
重複や国際面を除いた205,931記事を収集
抗議行動の特定：例
| 記事本文 | 抗議 | 地理 | レパートリー | 主張 |
|---|---|---|---|---|
| 泗川市三千浦遊覧船協会（理事長イ·サムス）は29日午前10時、三千浦庁舎の正門で100人余りの会員と家族が参加した中、泗川市議会の観光支援施設敷地造成事業費の予算全額削減を糾弾するデモを行った… | 関連あり | 泗川市 | デモ | 開発 |
| 北済州郡は29日、農漁民文化体育センターの着工式を行い、本格的な建築作業に入った（中略）このセンターには展示、集会、公演及び体育活動ができる多目的室と主婦教室などがある.. | 関連なし | 済州市 | — | — |
抗議行動の特定：精度
| Model | Accuracy | Recall | F1 Score |
|---|---|---|---|
| Naive Bayes | 0.72 | 0.69 | 0.65 |
| Random Forest | 0.70 | 0.71 | 0.76 |
| XLM-RoBERTa | 0.72 | 0.70 | 0.70 |
操作変数を探す：「説明変数」と操作変数の候補
- 「説明変数」
- 抗議の発生
- 報道量
- 衝突を伴うデモの発生
- 天候
- 降水量
- 気温
操作変数を探す：データと処理
分析手法：「説明変数」を結果変数、操作変数候補を説明変数にした回帰分析
分析単位：日×基礎自治体および2018年地方選挙 ＊ソウルなど都市は広域
結果変数：先述の手法で特定した抗議行動
- 抗議の発生、衝突を伴うデモ：件数
- 報道量：場所、日時、テーマ、レパートリーが同じ報道の数
説明変数：降水量と気温
- 韓国気象庁のAPIによって取得
- 観測地点が自治体ごとではないため、IDW法によって、自治体の支庁所在地の天候を推定した値を使用
- 気温は暑くても寒くても影響する可能性があるため、20度からどれくらい離れているかの変数（絶対偏差）と気温の二乗項を入れたモデル（逆U字型）
Results
概要
- 全面的にnull
- 降水量・気温ともに各変数に影響を与えるとはいえない
- 本当にnullかどうかを検証するために曜日固定効果を入れたり、変数を変えてみたりしたが、結果は同じくnull
抗議行動の発生：地理的分布
抗議行動の発生：時系列・警察データとの比較
抗議行動の発生：月別の集計
回帰分析の結果：日×自治体
| RF-Protest | RF-Report | RF-Clash | |
|---|---|---|---|
| + p < 0.1, * p < 0.05, ** p < 0.01, *** p < 0.001. | |||
| 都市圏（都道府県）レベルでクラスタリングされたロバスト標準誤差。 | |||
| RF = Random Forest | |||
| Rainfall | -0.000 | -0.000 | -0.000 |
| (0.000) | (0.000) | (0.000) | |
| Temp_dev | 0.000 | 0.000 | 0.000 |
| (0.000) | (0.000) | (0.000) | |
| Num.Obs. | 294417 | 294417 | 294417 |
| R2 | 0.270 | 0.226 | 0.031 |
回帰分析の結果：2018年選挙/7日間の平均
| RF-Protest | RF-Report | RF-Clash | |
|---|---|---|---|
| + p < 0.1, * p < 0.05, ** p < 0.01, *** p < 0.001. RF = Random Forest | |||
| 都市圏（都道府県）レベルでクラスタリングされたロバスト標準誤差。 | |||
| (Intercept) | -0.672 | 0.834 | 0.100 |
| (1.653) | (1.285) | (0.102) | |
| Rainfall | 0.029 | 0.055 | 0.007 |
| (0.054) | (0.065) | (0.007) | |
| Temp_dev | 0.032 | -0.042 | -0.005 |
| (0.080) | (0.062) | (0.005) | |
| Num.Obs. | 160 | 160 | 160 |
| R2 | 0.007 | 0.006 | 0.016 |
本当にnullなのか？
| RF-Protest | RF-Report | RF-Clash | |
|---|---|---|---|
| + p < 0.1, * p < 0.05, ** p < 0.01, *** p < 0.001. 曜日ダミーを投入 | |||
| Rainfall | -0.000 | -0.000 | -0.000* |
| (0.000) | (0.000) | (0.000) | |
| Temp_dev | 0.000 | 0.000 | 0.000+ |
| (0.000) | (0.000) | (0.000) | |
| I(Temp^2) | -0.000 | -0.000 | 0.000 |
| (0.000) | (0.000) | (0.000) | |
| Num.Obs. | 294417 | 294417 | 294417 |
| R2 | 0.262 | 0.218 | 0.024 |
Conclusion
結論
- 抗議行動の発生や報道量、衝突の有無と気候は関係があるとは言えない
- 雨が降ろうが、どんなに寒い/暑いだろうが、デモはする
- （フィールドワーカーとしては）直感的な結果ではある
- そもそも面積が小さい国という特有の事情もある
- 韓国の市民社会の特徴を考慮する
- 組織的な動員が中心：市民の参加は実は小さいレベル
- 一般の参加と動員は分けて考えるべき
- アメリカ・西欧的な抗議行動は他の国でも当てはまる？
- 国によって用いることのできる操作変数は違うのかもしれない
含意と課題
- 動員以外の変数を検証するためには天候以外の操作変数や別の手法を検討する必要がありそう
- スキャンダル・事件の発生
- テーマや地域によって異なる可能性
- 環境問題なら気温・異常気象。反米軍基地デモなら米軍による事件の発生など
- 時系列データを用いた分析：DiD、パネルマッチなど
- 課題
- 抗議イベント分析の正確性：生成AIの利用
- 動員数など他の変数：携帯電話の位置情報の活用
- 規模を限って再分析
日本比較政治学会第28回大会@オンライン